Đảng Cộng sản Ấn Độ được thành lập tại Tashkent, Cộng hòa Xã hội Chủ nghĩa Xô Viết Tự trị Turkestan vào ngày 17 tháng 10 năm 1920, ngay sau khi Đại hội lần thứ hai của Quốc tế Cộng sản. Các thành viên sáng lập của đảng đã M.N. Roy, Evelyn Trent Roy (vợ của Roy), Abani Mukherji, Rosa Fitingof (vợ Abani), Mohammad Ali (Ahmed Hasan), Mohammad Shafiq Siddiqui và MPBT Acharya.

CPI đã bắt đầu nỗ lực xây dựng một tổ chức bên trong Ấn Độ. Roy đã liên lạc với Anushilan và các nhóm Jugantar trong Bengal. Nhóm nhỏ cộng sản được hình thành trong Bengal (lãnh đạo bởi Muzaffar Ahmed), Bombay (lãnh đạo bởi SA Dange), Madras (lãnh đạo bởi Singaravelu Chettiar), Các tỉnh Thống nhất (lãnh đạo bởi Shaukat Usmani) và Punjab (lãnh đạo bởi Ghulam Hussain). Tuy nhiên, chỉ Usmani đã trở thành một thành viên đảng CPI.